Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution
Influcoder：将解码器梯度影响排名蒸馏至编码器以加速数据归因
🧭 数据归因 · 影响函数加速
Centre Inria de l'Université de Lille · CRIStAL · Université de Lille
通过将解码器梯度影响排名蒸馏为编码器直接输出，实现大规模数据归因的快速近似。
📌 工作参考价值（3 点）
- 大规模数据排查加速：在推荐/Agent 模型出现异常行为（如偏见、违规输出）时，需快速定位有害训练样本。Influcoder 用轻量编码器替代逐样本梯度计算，可在电商场景中用于快速检索“中毒”样本，大幅缩短排查周期。
- 训练数据在线过滤：若已有标注的好/坏样本集，可参照 Influcoder 的排名蒸馏思想，训练一个小型影响评分模型，实时判断新采集的日志样本是否值得加入训练，避免离线全量重算影响函数。
- 蒸馏目标的迁移：方法中的 pairwise 排名损失（使编码器输出排序与真实影响排序一致）可借鉴到其他需要“排序替代计算”的场景，例如召回阶段对候选 item 的重要性排序、特征选择或数据增强样本的优先级评估。